
一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo
一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo开源大模型领域,又迎来一位强有力的竞争者。
来自主题: AI技术研报
10718 点击 2024-05-07 18:24
开源大模型领域,又迎来一位强有力的竞争者。
在微调大型模型的过程中,一个常用的策略是“知识蒸馏”,这意味着借助高性能模型,如GPT-4,来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似,把GPT-4等模型视为更接近唯一的逻辑或真理的存在。